深入了解Linpack算法

运行HPL测试，优化参数，提高性能

Linpack全称为线性系统包(Linear System Package)，是国际上用于测试计算机系统浮点性能的Benchmark。它通过对高性能计算机进行求解N元一次稠密线性方程组的方式，，测试计算机的浮点性能。

Linpack测试分为三类：Linpack100、Linpack1000和HPL (High Performance Linpack)

HPL是针对现代并行计算机提出的测试方式。用户在不修改任意测试程序的基础上，可以调节问题规模大小(矩阵大小)、使用CPU数目、使用各种优化方法等等来执行该测试程序，以获取最佳的性能。

HPL采用高斯消元法求解线性方程组。求解问题规模为N时，浮点运算次数为$$\frac{2}{3} N^{3}+\frac{3}{2} N^{2}$$。给出问题规模$$N$$，测得系统计算时间$$T$$，$$峰值=\frac{\frac{2}{3} N^{3}+\frac{3}{2} N^{2}}T (FLOPS)$$。

本次实验环境是中科院计算所曙光服务器，Ubuntu16.04系统，硬件环境如下：

机器有2个sockets，每个socket有6个核，因此该机器最多支持同时运行12个进程。

理论浮点运行峰值 = CPU主频 × CPU核心数 × 每周期浮点运算次数。CPU主频为2.10GHz，CPU核心数为6，Intel Xeon E5-2620 v2的单周期浮点运算次数为8，故理论运行峰值为 $$2.10GHz \times 6 \times 8 = 100.8 Gflops$$。

HPL环境搭建：在安装HPL之前，需要安装MPI与BLAS库(这一步已经由助教帮助完成)。

在官网http://www.netlib.org/benchmark/hpl/下载安装包hpl-2.3.tar.gz，解压。

将hpl-2.3/setup/文件夹中的Make.Linux_PII_FBLAS文件拷贝到上层目录，并且命名为Make.，其中为任意后缀，本实验中=ZY。

对Make.进行如下配置：

配置完毕后，保存退出。

在安装目录内运行make arch=。如果hpl-2.3/bin/中新增名为的文件夹，文件夹内有HPL.dat和xhpl文件，说明安装成功。

进入hpl-2.3/bin/ZY文件夹，运行mpirun -np 4 ./xhpl，即可运行HPL测试。

HPL的参数位于HPL.dat中，如下：

参数的说明如下：

矩阵的规模N越大，有效计算所占比例越大，系统浮点处理性能越高；同时，矩阵规模N的增加会导致内存消耗量的增加，如果系统实际内存空间不足，使用缓存，性能反而降低。因此，应该在不使用系统缓存的情况下，尽量增大N。

除去机器固有的一些内存开销，一般矩阵运算占用系统总内存的80%左右为佳，即

$$N \times N \times 8 = 总内存 \times 80%$$ ，内存总量换算为字节。

机器的内存占用如下所示：

内存总量为47G，初步得 N = 52900，应该在 N ≤ 52900 的范围内进行测试。

P × Q = 进程数 = 系统CPU数。本次实验环境最多支持12个进程。

一般情况下，应使 P 略小于 Q，因为列向通信量的通信次数和通信数据量大于横向通信。另外，由于L分解的列向通信采用二元交换法（Binary Exchange），当列向处理器个数P为2的幂时，性能最优。

HPL 使用块大小 NB 进行数据分布和计算粒度。从数据分布的角度来看，NB越小，负载平衡越好。从计算的角度来看，NB 值太小可能会限制计算性能，消息的数量将增加。NB的选择和软硬件许多因素密切相关。

NB一般在256以下，NB的最优值主要通过实际测试来得到。本实验中选取2，4，16，48，128等。

HPL文档中介绍，按列的排列方式适用于节点数较多、每个节点内CPU数较少的系统；按行的排列方式适用于节点数较少、每个节点内CPU数较多的大规模系统。在机群系统上，按列的排列方式的性能远好于按行的排列方式，此处一般选择1。

每次L分解只在一列处理器中完成。在LU分解中，具体的算法很多，一般NDIVs设置为2比，NBMINs设置为4或8。HPL官方文档中的推荐设置为：

HPL中提供了6种广播方式(0=1rg,1=1rM,2=2rg,3=2rM,4=Lng,5=LnM) ，其中，前4种适合快速网络；后两种采用将数据切割后传送的方式，主要适合于速度较慢的网络。一般在小规模系统中选择0或1，大规模系统选择3。本次实验中选择3。

本次实验中，改变第14~29行的参数时，结果变化不明显；因此主要优化 N, NB, P, Q参数。

初始时实验中安装的BLAS库性能较低，测得HPL的测试效率只有机器的20%；后来使用性能更高的OpenBlas库后，浮点峰值明显提升，部分运行结果如下：

性能最高的参数配置如下：

浮点性能的测试效率为$$\frac{81.824Gflops}{100.8Gflops} \times 100%=81.2%$$。